[アップデート] Next’24 Vertex AI関連のアップデートまとめ #GoogleCloudNext

Google Cloud Next '24 で紹介された Vertex AI のアップデートを共有します。

Google Cloud Next ’24

#Google Cloud (GCP)

#Vertex AI

村田一紘

2024.04.11

本日4/9(火) AM 9:00～(GMT-7) からの Keynote を皮切りに Google Cloud Next '24 がスタートしました！
Keynote やその他セッションで特に注目されたのは、生成AIサービスの進化や応用に関する発表でした。さらにその中心となるのは Vertex AI の複数の重要なアップデートです。
Vertex AI は生成AIを含む機械学習ワークロードの構築、チューニング、そして維持管理を容易にするためのワンストッププラットフォームです。

本ブログでは、Google Cloud 公式ブログや Google Cloud Next '24 の Keynote などのセッション内容から Vertex AI のアップデート情報をまとめたものとなります。

Vertex AI サービスカテゴリ

Vertex AI は大きく以下の3つのカテゴリに分類して紹介されていました。

Agent Builder：自然言語命令、ローコードツール、または Langchain のようなフレームワークを使用したコーディングを使用してAIエージェントを構築するためのプラットフォーム
Model Builder：ユーザデータを使用して事前学習済みモデルを強化・カスタマイズするためのツールや、開発のためのプロンプト管理、評価ツール
Model Garden：Google開発、パートナー、オープンソースの事前学習済みモデルのコレクション

以下より上記のカテゴリごとにアップデートを共有します。

Agent Builder

Agent

以前より提供されていた Vertex AI Search や Vertex AI Conversation はそれらを纏めて Vertex AI Agent Builder という名称で再編成されていました。さらに、アプリタイプとして Agent が Preview にて利用可能となりました。Agent は、LangChain のようなフレームワークを使用するような複雑な処理をコンソールからノーコードで構築することができます。

弊社ブログでも紹介していますのでご参照ください。

公式ドキュメント：https://cloud.google.com/products/agent-builder?hl=en

Grounding with Google Search

Grounding 機能のアップデートとして、Google Search との直接連携機能が Preview で追加されました。これにより生成AIモデルは常に最新の情報にアクセスし、より正確な応答を提供できるようになります。

公式ドキュメント：https://cloud.google.com/vertex-ai/generative-ai/docs/grounding/overview

LangChain on Vertex AI

オープンソースの LangChain ライブラリを Vertex AI のモデル、ツール、デプロイ機能に統合した Google Cloud が提供するツールで、Preview にてリリースされました。LangChain と同じAPIを利用し、かつ Vertex AI のインフラストラクチャと統合することでカスタム生成AIアプリケーションの開発を容易にします。

公式ドキュメント：https://cloud.google.com/vertex-ai/generative-ai/docs/reasoning-engine/overview

Model Builder

Vertex AI Prompt Management

大規模な生成AIモデルの管理とデプロイ支援のための MLOps 機能として、Vertex AI Prompt Management が Preview で追加されました。プロンプトの実験、移行、チーム間での共有のためのプロンプトのライブラリやパラメータの追跡、バージョン管理、プロンプトのパフォーマンスを改善するためのAI生成提案、プロンプトの比較と評価やコラボレーション機能などが提供されます。

Evaluation tools

特定のタスクについて生成AIモデルを比較するのに役立つ Evaluation tools (評価ツール) について以下のアップデートがありました。

Rapid Evaluation (Preview)
類似性、指示に対する応答性、流暢さなど多次元のメトリクスや、特定のタスクに適したバンドルへのアクセスを提供し、ユーザーが最適なプロンプトデザインに関するモデルパフォーマンス評価を迅速に繰り返し行うための支援ツールとなります。
AutoSxS (Auto Side-by-Side) (GA)
Preview であった AutoSxS が GA としてリリースされました。AutoSxS は二つのモデルのパフォーマンスを比較し、Autorator により評価データを生成し自動評価を行います。一方のモデルが評価された理由の説明や評価の精度指標となるスコア表示などにより、直感的にパフォーマンスの比較が行えます。

公式ドキュメント：https://cloud.google.com/vertex-ai/generative-ai/docs/models/side-by-side-eval

Model Garden

Gemini 1.5 Pro が Public Preview

Vertex AI から Gemini 1.5 Pro が Public Preview で利用可能となりました。Gemini 1.5 Pro は非常に大きなコンテキストウインドウ(約100万トークン)を提供するモデルです。

さらに Vertex AI 上の Gemini 1.5 Proが、音声を含むオーディオストリームやビデオのオーディオ部分を処理する機能をサポートしました。

以下のように Vertex AI Studio から gemini-1.5-pro-preview-0409 が選択可能となっていました。

Imagen 2 のアップデート

画像生成モデルの Imagen 2.0 は、テキストプロンプトから4秒間の短いライブ画像を作成するための Text-to-Live images が Preview で使用できるようになりました。
以下は公式ドキュメント上のデモ動画(Youtube)です。

また、Imagen 2.0 では、inpainting (画像から不要なオブジェクトを削除し空いた領域を自然に書き換える)、outpainting (既存の画像の内容やスタイルに基づいて画像を自然に拡張)を含む画像編集機能や、digital watermarking (電子透かし)が GA で利用できるようになりました。

公式ドキュメント：https://cloud.google.com/vertex-ai/generative-ai/docs/image/ttli-prompt-guide